Анализ новостных сообщений¶
Рассмотрим коллекцию новостных сообщений за первую половину 2017 года. Про каждое новостное сообщение известны:
- его заголовок и текст
- дата его публикации
- событие, о котором это новостное сообщение написано
- его рубрика
In [1]:
import pandas as pd
df = pd.read_csv('../data/news.csv')
df.head()
Out[1]:
Предварительный анализ коллекции¶
Средняя длина текстов¶
In [2]:
len_data = df.text.apply(len)
len_data.describe()
Out[2]:
Количество текстов о разных событиях¶
In [ ]:
from bokeh.charts import Bar, output_notebook, show, hplot
import math
output_notebook()
In [3]:
counts = df.event.value_counts()
bar = Bar(counts, width=1000, height = 600, legend = False)
bar.xaxis.major_label_orientation = math.pi/2-0.3
show(bar)
Длины текстов (в символах)¶
In [4]:
from bokeh.charts import Histogram
hist = Histogram(len_data[len_data < 10000])
show(hist)
Токенизация¶
Используем регулярные выражения, чтобы разбить тексты на слова
In [5]:
import re
regex = re.compile("[А-Яа-я----]+")
def words_only(text, regex=regex):
return " ".join(regex.findall(text))
df.text = df.text.str.lower()
df.text = df.text.apply(words_only)
Результат:
In [6]:
df.text.iloc[0]
Out[6]:
Самые частые слова¶
In [7]:
from nltk import FreqDist
n_types = []
n_tokens = []
tokens = []
fd = FreqDist()
for index, row in df.iterrows():
tokens = row['text'].split()
fd.update(tokens)
n_types.append(len(fd))
n_tokens.append(sum(fd.values()))
for i in fd.most_common(10):
print(i)
Закон Ципфа¶
In [10]:
from bokeh.plotting import figure
freqs = list(fd.values())
freqs = sorted(freqs, reverse = True)
p = figure(plot_width=500, plot_height=300)
p.line(freqs[:300], range(300))
show(p)
Закон Хипса¶
In [11]:
from bokeh.plotting import figure
freqs = list(fd.values())
freqs = sorted(freqs, reverse = True)
p = figure(plot_width=500, plot_height=300)
p.line(n_types, n_tokens)
show(p)
Обработка текстов¶
Удаление стоп-слов¶
In [10]:
from nltk.corpus import stopwords
mystopwords = stopwords.words('russian') + ['это', 'наш' , 'тыс', 'млн', 'млрд', 'также', 'т', 'д', '-', '-']
print(mystopwords)
def remove_stopwords(text, mystopwords = mystopwords):
try:
return " ".join([token for token in text.split() if not token in mystopwords])
except:
return ""
df.text = df.text.apply(remove_stopwords)
Лемматизация¶
In [11]:
%%time
from pymystem3 import Mystem
m = Mystem()
def lemmatize(text, mystem=m):
try:
return "".join(m.lemmatize(text)).strip()
except:
return " "
df.text = df.text.apply(lemmatize)
Удаление стоп-лемм¶
In [12]:
mystoplemmas = ['который','прошлый','сей', 'свой', 'наш', 'мочь']
def remove_stoplemmas(text, mystoplemmas = mystoplemmas):
try:
return " ".join([token for token in text.split() if not token in mystoplemmas])
except:
return ""
df.text = df.text.apply(remove_stoplemmas)
Самые частые леммы:
In [13]:
lemmata = []
for index, row in df.iterrows():
lemmata += row['text'].split()
fd = FreqDist(lemmata)
for i in fd.most_common(10):
print(i)
Извлечение ключевых слов¶
Переезжаем из DataFrame в списки:
In [14]:
tokens_by_topic = []
for event in df.event.unique():
tokens = []
sample = df[df.event==event]
for i in range(len(sample)):
tokens += sample.text.iloc[i].split()
tokens_by_topic.append(tokens)
Выберем событие, из текстов про которое будем извлекать ключевые слова:
In [15]:
event_id = 3
Извлекаем биграммы по разным мерам связности:
In [16]:
%%time
import nltk
from nltk.collocations import *
N_best = 100 # число извлекаемых биграм
bigram_measures = nltk.collocations.BigramAssocMeasures() # класс для мер ассоциации биграм
finder = BigramCollocationFinder.from_words(tokens_by_topic[event_id]) # класс для хранения и извлечения биграм
finder.apply_freq_filter(3) # избавимся от биграм, которые встречаются реже трех раз
raw_freq_ranking = [' '.join(i) for i in finder.nbest(bigram_measures.raw_freq, N_best)] # выбираем топ-10 биграм по частоте
tscore_ranking = [' '.join(i) for i in finder.nbest(bigram_measures.student_t, N_best)] # выбираем топ-100 биграм по каждой мере
pmi_ranking = [' '.join(i) for i in finder.nbest(bigram_measures.pmi, N_best)]
llr_ranking = [' '. join(i) for i in finder.nbest(bigram_measures.likelihood_ratio, N_best)]
chi2_ranking = [' '.join(i) for i in finder.nbest(bigram_measures.chi_sq, N_best)]
Результаты:
In [17]:
rankings = pd.DataFrame({ 'chi2': chi2_ranking, 'llr':llr_ranking, 't-score' : tscore_ranking, 'pmi': pmi_ranking, 'raw_freq':raw_freq_ranking})
rankings = rankings[['raw_freq', 'pmi', 't-score', 'chi2', 'llr']]
rankings.head(10)
Out[17]:
Похожи ли списки биграм?
In [18]:
from scipy.stats import spearmanr
import seaborn as sns
%matplotlib inline
corr = spearmanr(rankings).correlation
sns.heatmap(corr, annot=True, xticklabels = list(rankings), yticklabels = list(rankings))
Out[18]:
Используем TextRank для извлечения ключевых слов:
In [21]:
%%time
from gensim.summarization import keywords
text = ' '.join(tokens_by_topic[event_id])
kw = keywords(text)
Результаты:
In [22]:
rankings = pd.DataFrame({'Text Rank': kw.split('\n')})
rankings.head(10)
Out[22]:
RAKE¶
Для RAKE нужны сырые тексты со стоп-словами:
In [61]:
raw_df = pd.read_csv('../data/news.csv')
raw_df.text = raw_df.text.str.lower()
raw_df.text = raw_df.text.apply(words_only)
raw_df.text = raw_df.text.apply(lemmatize)
In [62]:
text = ' '.join(raw_df[raw_df.event == raw_df.event.unique()[3]].text.tolist())
Результаты RAKE:
In [63]:
import RAKE
Rake = RAKE.Rake('../data/stopwords.txt')
kp = [i[0] for i in Rake.run(text) if len(i[0].split())<3 and len(i[0].split())>1 and i[1]>1 and i[0] != '- -']
rankings = pd.DataFrame({'RAKE': kp})
rankings.head(10)
Out[63]:
Мера контрастности $tf-idf$¶
Извлекаем ключевые слова по $tf-idf$:
In [19]:
%%time
from nltk.text import TextCollection
tfidf_values = []
tfidf_ranking = []
corpus = TextCollection(tokens_by_topic) # класс для вычисления tf-idf
for i in set(tokens_by_topic[event_id]): # цикл по всем уникальным токенам в этом разделе
tfidf_values.append([i, corpus.tf_idf(i, tokens_by_topic[event_id])]) # вычисляем tf-idf
for i in sorted(tfidf_values,key=lambda l:l[1], reverse=True)[:N_best]: # выбираем топ-100 по tf-idf
tfidf_ranking.append(i[0])
Результаты:
In [20]:
rankings = pd.DataFrame({'tf-idf': tfidf_ranking})
rankings.head(10)
Out[20]:
Вычисление сходства и Gensim¶
Представление данных в Gensim словарем и корпусом:
In [48]:
from gensim.corpora import *
texts = [df.text.iloc[i].split() for i in range(len(df))]
dictionary = Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
Вычисление сходства по косинусной мере на векторах $tf-idf$:
In [49]:
%%time
from gensim.models import *
tfidf = TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
In [54]:
from gensim import similarities
index = similarities.MatrixSimilarity(tfidf[corpus])
sims = index[corpus_tfidf]
In [55]:
from pylab import pcolor, show, colorbar, xticks, yticks
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure(figsize = (10,10))
sns.heatmap(data=sims, cmap = 'Spectral').set(xticklabels=[],yticklabels=[])
plt.title("Матрица близости")
plt.show()
Модели скрытых тем¶
Латентно-семантический анализ¶
In [50]:
%%time
lsi = lsimodel.LsiModel(corpus=corpus_tfidf, id2word=dictionary, num_topics=50)
In [51]:
lsi.show_topics(5)
Out[51]:
Как снижение размерности влияет на матрицу близости:
In [56]:
corpus_lsi = lsi[corpus]
index = similarities.MatrixSimilarity(lsi[corpus])
sims = index[corpus_lsi]
sims = (sims + 1)/2.
plt.figure(figsize = (10,10))
sns.heatmap(data=sims, cmap = 'Spectral').set(xticklabels=[], yticklabels=[])
plt.title("Матрица близости")
plt.show()
Главные компоненты:
In [57]:
X = [0] * len(df)
Y = [0] * len(df)
for i in range(len(df)):
vec = corpus[i]
LSI_topics = (lsi[vec])
try:
for topic in LSI_topics:
if topic[0] == 0:
X[i] = topic[1]
elif topic[0] == 1:
Y[i] = topic[1]
except:
pass
vis_df = pd.DataFrame({'X': X, 'Y': Y, 'topic' : df.event})
In [58]:
sns.FacetGrid(vis_df, hue="topic", size = 10).map(plt.scatter, "X", "Y").add_legend()
Out[58]:
Латентное размещение Дирихле¶
In [52]:
%%time
lda = ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20,
alpha='auto', eta='auto', iterations = 20, passes = 10)
In [53]:
lda.show_topics(5)
Out[53]:
In [69]:
import pyLDAvis.gensim as gensimvis
import pyLDAvis
vis_data = gensimvis.prepare(lda, corpus, dictionary)
pyLDAvis.display(vis_data)
Out[69]:
In [70]:
import plotly.offline as py
import plotly.graph_objs as go
py.init_notebook_mode()
def plot_difference(mdiff, title="", annotation=None):
"""
Helper function for plot difference between models
"""
annotation_html = None
if annotation is not None:
annotation_html = [
[
"+++ {}<br>--- {}".format(", ".join(int_tokens), ", ".join(diff_tokens))
for (int_tokens, diff_tokens) in row
]
for row in annotation
]
data = go.Heatmap(z=mdiff, colorscale='RdBu', text=annotation_html)
layout = go.Layout(width=500, height=500, title=title, xaxis=dict(title="topic"), yaxis=dict(title="topic"))
py.iplot(dict(data=[data], layout=layout))
In [71]:
mdiff, annotation = lda.diff(lda, distance='jaccard', num_words=50)
plot_difference(mdiff, title="Topic difference (one model) [jaccard distance]", annotation=annotation)
Иерархический процесс Дирихле¶
In [72]:
%%time
hdpmodel = HdpModel(corpus=corpus, id2word=dictionary)
In [73]:
hdpmodel.show_topics(5)
Out[73]:
TSNE¶
In [59]:
from sklearn.manifold import TSNE
from sklearn.decomposition import TruncatedSVD
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Normalizer
from sklearn.feature_extraction.text import *
vectors = TfidfVectorizer().fit_transform(df.text)
X_reduced = TruncatedSVD(n_components=5, random_state=0).fit_transform(vectors)
X_embedded = TSNE(n_components=2, perplexity=5, verbose=0).fit_transform(X_reduced)
In [60]:
vis_df = pd.DataFrame({'X': X_embedded[:, 0], 'Y': X_embedded[:, 1], 'topic' : df.event})
sns.FacetGrid(vis_df, hue="topic", size=10).map(plt.scatter, "X", "Y").add_legend()
Out[60]:
